强大的电力系统的长期计划需要了解不断变化的需求模式。电力需求对天气敏感。因此，引入间歇性可再生能源的供应方面变化与可变需求并列，将在网格计划过程中引入其他挑战。通过了解美国温度的空间和时间变化，可以分开需求对自然变异性和与气候变化相关的影响的需求的响应，尤其是因为尚不清楚由于前一个因素所产生的影响。通过该项目，我们旨在通过开发机器和深入学习“背面销售”模型来更好地支持电力系统的技术和政策开发过程，以重建多年需求记录并研究温度的自然变异性及其对需求的影响。

Transformers are becoming increasingly popular due to their superior performance over conventional convolutional neural networks(CNNs). However, transformers usually require a much larger amount of memory to train than CNNs, which prevents their application in many low resource settings. Local learning, which divides the network into several distinct modules and trains them individually, is a promising alternative to the end-to-end (E2E) training approach to reduce the amount of memory for training and to increase parallelism. This paper is the first to apply Local Learning on transformers for this purpose. The standard CNN-based local learning method, InfoPro [32], reconstructs the input images for each module in a CNN. However, reconstructing the entire image does not generalize well. In this paper, we propose a new mechanism for each local module, where instead of reconstructing the entire image, we reconstruct its input features, generated from previous modules. We evaluate our approach on 4 commonly used datasets and 3 commonly used decoder structures on Swin-Tiny. The experiments show that our approach outperforms InfoPro-Transformer, the InfoPro with Transfomer backbone we introduced, by at up to 0.58% on CIFAR-10, CIFAR-100, STL-10 and SVHN datasets, while using up to 12% less memory. Compared to the E2E approach, we require 36% less GPU memory when the network is divided into 2 modules and 45% less GPU memory when the network is divided into 4 modules.

Dense prediction tasks such as segmentation and detection of pathological entities hold crucial clinical value in the digital pathology workflow. However, obtaining dense annotations on large cohorts is usually tedious and expensive. Contrastive learning (CL) is thus often employed to leverage large volumes of unlabeled data to pre-train the backbone network. To boost CL for dense prediction, some studies have proposed variations of dense matching objectives in pre-training. However, our analysis shows that employing existing dense matching strategies on histopathology images enforces invariance among incorrect pairs of dense features and, thus, is imprecise. To address this, we propose a precise location-based matching mechanism that utilizes the overlapping information between geometric transformations to precisely match regions in two augmentations. Extensive experiments on two pretraining datasets (TCGA-BRCA, NCT-CRC-HE) and three downstream datasets (GlaS, CRAG, BCSS) highlight the superiority of our method in semantic and instance segmentation tasks. Our method outperforms previous dense matching methods by up to 7.2 % in average precision for detection and 5.6 % in average precision for instance segmentation tasks. Additionally, by using our matching mechanism in the three popular contrastive learning frameworks, MoCo-v2, VICRegL and ConCL, the average precision in detection is improved by 0.7 % to 5.2 % and the average precision in segmentation is improved by 0.7 % to 4.0 %, demonstrating its generalizability.

This preprint describes work in progress on LR-Sum, a new permissively-licensed dataset created with the goal of enabling further research in automatic summarization for less-resourced languages. LR-Sum contains human-written summaries for 40 languages, many of which are less-resourced. We describe our process for extracting and filtering the dataset from the Multilingual Open Text corpus (Palen-Michel et al., 2022). The source data is public domain newswire collected from from Voice of America websites, and LR-Sum is released under a Creative Commons license (CC BY 4.0), making it one of the most openly-licensed multilingual summarization datasets. We describe how we plan to use the data for modeling experiments and discuss limitations of the dataset.

人工智能（AI）已被广泛应用于药物发现中，其主要任务是分子财产预测。尽管分子表示学习中AI技术的繁荣，但尚未仔细检查分子性质预测的一些关键方面。在这项研究中，我们对三个代表性模型，即随机森林，莫尔伯特和格罗弗进行了系统比较，该模型分别利用了三个主要的分子表示，扩展连接的指纹，微笑的字符串和分子图。值得注意的是，莫尔伯特（Molbert）和格罗弗（Grover）以自我监督的方式在大规模的无标记分子库中进行了预定。除了常用的分子基准数据集外，我们还组装了一套与阿片类药物相关的数据集进行下游预测评估。我们首先对标签分布和结构分析进行了数据集分析；我们还检查了阿片类药物相关数据集中的活动悬崖问题。然后，我们培训了4,320个预测模型，并评估了学习表示的有用性。此外，我们通过研究统计测试，评估指标和任务设置的效果来探索模型评估。最后，我们将化学空间的概括分解为施加间和支柱内的概括，并测量了预测性能，以评估两种设置下模型的普遍性。通过采取这种喘息，我们反映了分子财产预测的基本关键方面，希望在该领域带来更好的AI技术的意识。

无监督的异常检测和定位是至关重要的任务，因为不可能收集和标记所有可能的异常。许多研究强调了整合本地和全球信息以实现异常分割的重要性。为此，对变压器的兴趣越来越大，它允许对远程内容相互作用进行建模。但是，对于大多数图像量表而言，通过自我注意力的全球互动通常太贵了。在这项研究中，我们介绍了Haloae，这是第一个基于Halonet的局部2D版本的自动编码器。使用Haloae，我们创建了一个混合模型，该模型结合了卷积和局部2D块的自我发项层，并通过单个模型共同执行异常检测和分割。我们在MVTEC数据集上取得了竞争成果，表明结合变压器的视觉模型可以受益于自我发挥操作的本地计算，并为其他应用铺平道路。

临床表型可以从患者记录中自动提取临床状况，这可能对全球医生和诊所有益。但是，当前的最新模型主要适用于用英语编写的临床笔记。因此，我们研究了跨语化知识转移策略，以针对不使用英语并且有少量可用数据的诊所执行此任务。我们评估了希腊和西班牙诊所的这些策略，利用来自心脏病学，肿瘤学和ICU等不同临床领域的临床笔记。我们的结果揭示了两种策略，这些策略优于最先进的方法：基于翻译的方法，结合了域的编码器和跨语性编码器以及适配器。我们发现，这些策略在对稀有表型进行分类方面表现特别好，我们建议在哪种情况下更喜欢哪种方法。我们的结果表明，使用多语言数据总体可以改善临床表型模型，并可以补偿数据稀疏性。

在本文中，我们研究了使用深度学习模型时的可转移性限制，用于对CT图像中肺炎感染区域的语义分割。拟议的方法采用4通道输入；基于Hounsfield量表的3个通道，以及一个表示肺部区域的通道（二进制）。我们使用了3个不同的公开可用的CT数据集。如果没有肺部面罩，深度学习模型会生成代理图像。实验结果表明，在创建共同分割模型时，应仔细使用可转移性；在大量数据中重新训练该模型多次以上会导致分割精度的降低。

组织病理学全幻灯片图像（WSIS）在临床研究中起着非常重要的作用，并作为许多癌症诊断的黄金标准。但是，由于其巨大尺寸，生成用于处理WSIS的自动工具是具有挑战性的。当前，为了解决这个问题，传统方法依靠多个实例学习（MIL）策略来处理贴剂级别的WSI。尽管有效，但这种方法在计算上很昂贵，因为将WSI整理成斑块需要时间，并且不探索这些瓷砖之间的空间关系。为了解决这些限制，我们提出了一个本地监督的学习框架，该框架通过探索包含的整个本地和全球信息来处理整个幻灯片。该框架将预训练的网络划分为几个模块，并使用辅助模型在本地优化每个模块。我们还引入了一个随机特征重建单元（RFR），以在训练过程中保留区分特征，并将方法的性能提高1％至3％。对三个公开可用的WSI数据集进行了广泛的实验：TCGA-NSCLC，TCGA-RCC和LKS，突出了我们方法在不同分类任务上的优越性。我们的方法的准确性优于最先进的MIL方法，而高7至10倍。此外，将其分为八个模块时，我们的方法需要端到端培训所需的GPU总内存总数的20％。我们的代码可从https://github.com/cvlab-stonybrook/local_learning_wsi获得。

受生物学最复杂的计算机的启发，大脑，神经网络构成了计算原理的深刻重新重新制定。值得注意的是，在活细胞内部的信息处理分子系统（例如信号转导级联和遗传调节网络）内，在信息处理的分子系统中也出现了类似的高维，高度相关的计算体系结构。在其他物理和化学过程中，即使表面上扮演非信息处理的角色，例如蛋白质合成，代谢或结构自组装等表面上，神经形态集体模式是否会更广泛地发现。在这里，我们检查了多组分结构自组装过程中的成核，表明可以以类似于神经网络计算的方式对高维浓度模式进行区分和分类。具体而言，我们设计了一组917个DNA瓷砖，可以以三种替代方式自组装，从而使竞争成核敏感地取决于三个结构中高分化瓷砖共定位的程度。该系统经过训练，以将18个灰度30 x 30像素图像分为三类。在150小时的退火过程中和之后，在实验上，荧光和原子力显微镜监测确定所有训练有素的图像均正确分类，而一组图像变化集探测了结果的鲁棒性。尽管与先前的生化神经网络相比缓慢，但我们的方法令人惊讶地紧凑，健壮且可扩展。这种成功表明，无处不在的物理现象（例如成核）在将高维多分量系统缩放时可能具有强大的信息处理能力。